Causal Foundation Models
因果基础模型
🧭 因果推断 · In-context Learning
Layer 6 AI, Toronto, Canada · TD Bank Group, Toronto, Canada
提出因果基础模型(CFM),在大规模合成数据上预训练,对新数据集通过 in-context learning 零样本估计因果效应
📌 工作参考价值(4 点)
- 广告/Uplift 建模:将 CFM 作为预训练因果先验,在新 campaign 上零样本估计 ATE/CATE,减少冷启动数据需求;可先在小样本上验证策略效果,再决定是否训练专用模型。
- 合成数据流水线:参照 CFM 训练方式,在业务点击/转化模拟器中大规模生成含 treatment/control 的数据,预训练因果模型,再迁移到真实小样本任务上。
- Agent 决策:营销动作选择、定价折扣、Push 文案等场景中,可内嵌 CFM 估计不同动作的因果效应,避免仅用相关模型误判 ROI。
- 工程实现:论文开源代码和 notebooks 提供可复用的 CFM 架构与合成数据生成方法,可直接作为团队因果推理 baseline。